| 1. Identificação | ||||||||||
| Tipo de Referência | Tese ou Dissertação (Thesis) | |||||||||
| Site | mtc-m21d.sid.inpe.br | |||||||||
| Código do Detentor | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||||||||
| Identificador | 8JMKD3MGP3W34T/48QKERL | |||||||||
| Repositório | sid.inpe.br/mtc-m21d/2023/03.30.19.42 | |||||||||
| Última Atualização | 2023:06.15.12.41.01 (UTC) simone | |||||||||
| Repositório de Metadados | sid.inpe.br/mtc-m21d/2023/03.30.19.42.36 | |||||||||
| Última Atualização dos Metadados | 2023:06.29.18.22.54 (UTC) administrator | |||||||||
| Chave Secundária | INPE-18683-TDI/3307 | |||||||||
| Chave de Citação | Gomes:2023:ToBiEa | |||||||||
| Título | Brazil Data Cube Workflow Engine: a tool for big earth observation data processing  | |||||||||
| Título Alternativo | Brazil Data Cube Workflow Engine: uma ferramenta para processamento de grandes volumes de dados de observação da Terra | |||||||||
| Curso | CAP-COMP-DIPGR-INPE-MCTI-GOV-BR | |||||||||
| Ano | 2023 | |||||||||
| Data | 2023-03-29 | |||||||||
| Data de Acesso | 20 maio 2024 | |||||||||
| Tipo da Tese | Tese (Doutorado em Computação Aplicada) | |||||||||
| Tipo Secundário | TDI | |||||||||
| Número de Páginas | 95 | |||||||||
| Número de Arquivos | 2 | |||||||||
| Tamanho | 15790 KiB | |||||||||
| 2. Contextualização | ||||||||||
| Autor | Gomes, Vitor Conrado Faria | |||||||||
| Banca | Korting, Thales Sehn (presidente) Gomes, Karine Reis Ferreira (orientadora) Queiroz, Gilberto Ribeiro de (orientador) Barbosa, Cláudio Clemente Faria Campelo, Cláudio Elízio Calazans Cogo, Vinícius Vielmo | |||||||||
| Endereço de e-Mail | vconrado@gmail.com | |||||||||
| Universidade | Instituto Nacional de Pesquisas Espaciais (INPE) | |||||||||
| Cidade | São José dos Campos | |||||||||
| Histórico (UTC) | 2023-03-30 19:43:39 :: vconrado@gmail.com -> administrator :: 2023-03-31 18:08:33 :: administrator -> pubtc@inpe.br :: 2023-03-31 18:09:05 :: pubtc@inpe.br -> vconrado@gmail.com :: 2023-05-02 10:53:36 :: vconrado@gmail.com -> pubtc@inpe.br :: 2023-06-21 18:25:30 :: pubtc@inpe.br -> simone :: 2023-06-21 18:25:50 :: simone :: -> 2023 2023-06-21 18:26:05 :: simone -> administrator :: 2023 2023-06-29 18:22:54 :: administrator -> :: 2023 | |||||||||
| 3. Conteúdo e estrutura | ||||||||||
| É a matriz ou uma cópia? | é a matriz | |||||||||
| Estágio do Conteúdo | concluido | |||||||||
| Transferível | 1 | |||||||||
| Palavras-Chave | big data directed acyclic graphs open data cube OpenEO dagster grafos acíclicos dirigidos open data cube OpenEO grandes volumes de dados dagster | |||||||||
| Resumo | Earth Observation (EO) satellites have produced large amounts of geospatial data that are freely available to society and researchers. Handling these data often exceeds the capabilities of the hardware and software traditionally used for storing and processing EO data. This scenario presents challenges for traditional Spatial Data Infrastructure (SDI) to properly store, process, disseminate, and analyze big data sets. To meet these demands, new technologies based on cloud computing and distributed systems, such as matrix database systems, MapReduce systems, and web services, have been proposed and developed. These technologies are now being integrated into leading-edge platforms to support a new generation of SDI for big EO data. These platforms have different characteristics in terms of governance, technologies used, data access, infrastructure abstractions, data processing, and flexibility to extend their functionality. In general, we observed that the greater the degree of abstraction given to the scientist, the greater the difficulty in providing flexibility in data-processing approaches. This thesis contributes to the area of spatial data infrastructure through the evaluation and analysis of available EO data processing and analysis platforms as well as a server-side EO data processing architecture that provides an abstraction of access and processing of EO data for users and the possibility of including algorithms and access and processing techniques by SDI maintainers. The main idea was to build a framework based on workflow orchestration tools integrated with a high-level API for user interaction. This tool allows the configuration of processes and the extension of previously defined data models. Furthermore, the interface between the processing services and the user is executed through the OpenEO API, which establishes a standard for accessing, manipulating and processing EO data. The architecture proposed in this thesis was implemented and applied in two case studies. RESUMO: Satélites de observação da Terra (Earth Observation - EO) têm produzido grandes quantidades de dados geoespaciais que estão disponíveis gratuitamente para a sociedade e pesquisadores. Frequentemente, a manipulação desses dados excedem as capacidades de hardware e software tradicionalmente usados para o armazenamento e processamento de dados de EO. Este cenário traz desafios para as infraestruturas tradicionais de dados espaciais (SDI) para armazenar, processar, disseminar e analisar adequadamente esses conjuntos de big data. Para atender a essas demandas, novas tecnologias foram propostas e desenvolvidas, baseadas em computação em nuvem e sistemas distribuídos, como sistemas de banco de dados matriciais, sistemas MapReduce e serviços web, para acessar e processar esses volumes de dados. Atualmente, essas tecnologias vêm sendo integradas em plataformas de ponta para suportar uma nova geração de SDI para grandes volumes de dados de EO. Essas plataformas apresentam diferentes características em relação à governança, tecnologias utilizadas, acesso aos dados, abstrações de infraestrutura, dados e processamento e quanto à flexibilidade de extensão de suas funcionalidades. De maneira geral, observamos que quanto maior o grau de abstração entregue ao cientista, maior a dificuldade em fornecer flexibilidade nas abordagens de processamento de dados. Essa tese contribui para a área de infraestrutura de dados espaciais por meio da avaliação e análise de plataformas de processamento e análise de dados de EO disponíveis e pela proposição de uma arquitetura de processamento de dados de EO no lado do servidor que fornece, aos usuários, abstração de acesso e processamento de dados. Essa arquitetura é estruturada na forma de um framework baseado em ferramentas de orquestração de workflows, integrado com uma API de alto nível para a interação com os usuários. Essa ferramenta permite a configuração de processamentos e a extensão dos modelos de dados previamente definidos. Além disso, a interface entre os serviços de processamento e o usuário é feita por meio da OpenEO API, a qual estabelece um padrão para o acesso, manipulação e processamento de dados de EO. A arquitetura proposta nesta tese foi implementa e aplicada em dois estudos de caso. | |||||||||
| Área | COMP | |||||||||
| Arranjo 1 | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CAP > Brazil Data Cube... | |||||||||
| Arranjo 2 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGIP > Brazil Data Cube... | |||||||||
| Conteúdo da Pasta doc | acessar | |||||||||
| Conteúdo da Pasta source |
| |||||||||
| Conteúdo da Pasta agreement |
| |||||||||
| 4. Condições de acesso e uso | ||||||||||
| URL dos dados | http://mtc-m21d.sid.inpe.br/ibi/8JMKD3MGP3W34T/48QKERL | |||||||||
| URL dos dados zipados | http://mtc-m21d.sid.inpe.br/zip/8JMKD3MGP3W34T/48QKERL | |||||||||
| Idioma | en | |||||||||
| Arquivo Alvo | publicacao.pdf | |||||||||
| Grupo de Usuários | pubtc@inpe.br simone vconrado@gmail.com | |||||||||
| Visibilidade | shown | |||||||||
| Licença de Direitos Autorais | urlib.net/www/2012/11.12.15.10 | |||||||||
| Detentor dos Direitos | originalauthor yes | |||||||||
| Permissão de Leitura | allow from all | |||||||||
| Permissão de Atualização | não transferida | |||||||||
| 5. Fontes relacionadas | ||||||||||
| Repositório Espelho | urlib.net/www/2021/06.04.03.40.25 | |||||||||
| Unidades Imediatamente Superiores | 8JMKD3MGPCW/3F2PHGS 8JMKD3MGPCW/46KUES5 | |||||||||
| Lista de Itens Citando | sid.inpe.br/mtc-m21b/2013/09.26.14.25.22 2 | |||||||||
| Acervo Hospedeiro | urlib.net/www/2021/06.04.03.40 | |||||||||
| 6. Notas | ||||||||||
| Campos Vazios | academicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||||||||